package rdd.builder

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark02_RDD_File_parallelize {
  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("memoryRDD")
    val sc = new SparkContext(sparkConf)

    // 创建RDD
    // 第二个参数指定分区数， 实际的分区数可能大于指定的最小分区数
    val rdd: RDD[String] = sc.textFile("datasets/wc/1.txt", 2)

    rdd.saveAsTextFile("datasets/output")


    rdd.collect().foreach(println)

    // 退出环境
    sc.stop()
  }
}
